Beyond NL2Code: A Structured Survey of Multimodal Code Intelligence
超越自然语言到代码：多模态代码智能的结构化综述
🧭 多模态代码智能综述 · 视觉到代码
Meituan · The University of Hong Kong · The Chinese University of Hong Kong · Institute of Automation, Chinese Academy of Sciences · Nanjing University
系统归纳多模态代码智能任务，按代码角色与领域分类，提出以验证为中心的未来方向。
📌 工作参考价值（4 点）
- 电商落地页、活动页自动生成：借鉴 GUI 代码生成方法，将设计稿或截图直接转化为前端代码，降低人工开发成本。
- 多信号验证提升界面质量：在生成后结合视觉渲染对比、交互状态检查等互补信号，减少人工审核，提高生成代码的正确性与一致性。
- 数据报表自动化：借鉴科学可视化代码生成（如 MatPlotAgent），从数据描述或示例图生成图表代码，用于自动化 BI 报表或运营分析。
- Agent 工具使用与验证闭环：将代码作为可执行策略，利用多状态验证与视觉反馈确保 Agent 动作的可靠性，例如在交互式推荐场景中自动生成并验证 UI 操作脚本。